We develop a distributed Block Chebyshev-Davidson algorithm to solve large-scale leading eigenvalue problems for spectral analysis in spectral clustering. First, the efficiency of the Chebyshev-Davidson algorithm relies on the prior knowledge of the eigenvalue spectrum, which could be expensive to estimate. This issue can be lessened by the analytic spectrum estimation of the Laplacian or normalized Laplacian matrices in spectral clustering, making the proposed algorithm very efficient for spectral clustering. Second, to make the proposed algorithm capable of analyzing big data, a distributed and parallel version has been developed with attractive scalability. The speedup by parallel computing is approximately equivalent to $\sqrt{p}$, where $p$ denotes the number of processes. Numerical results will be provided to demonstrate its efficiency and advantage over existing algorithms in both sequential and parallel computing.

Various types of Multi-Agent Reinforcement Learning (MARL) methods have been developed, assuming that agents' policies are based on true states. Recent works have improved the robustness of MARL under uncertainties from the reward, transition probability, or other partners' policies. However, in real-world multi-agent systems, state estimations may be perturbed by sensor measurement noise or even adversaries. Agents' policies trained with only true state information will deviate from optimal solutions when facing adversarial state perturbations during execution. MARL under adversarial state perturbations has limited study. Hence, in this work, we propose a State-Adversarial Markov Game (SAMG) and make the first attempt to study the fundamental properties of MARL under state uncertainties. We prove that the optimal agent policy and the robust Nash equilibrium do not always exist for an SAMG. Instead, we define the solution concept, robust agent policy, of the proposed SAMG under adversarial state perturbations, where agents want to maximize the worst-case expected state value. We then design a gradient descent ascent-based robust MARL algorithm to learn the robust policies for the MARL agents. Our experiments show that adversarial state perturbations decrease agents' rewards for several baselines from the existing literature, while our algorithm outperforms baselines with state perturbations and significantly improves the robustness of the MARL policies under state uncertainties.

基于合奏的大规模模拟动态系统对于广泛的科学和工程问题至关重要。模拟中使用的常规数值求解器受到时间整合的步长显着限制，这会阻碍效率和可行性，尤其是在需要高精度的情况下。为了克服这一限制，我们提出了一种数据驱动的校正方法，该方法允许使用大型步骤，同时补偿了积分误差以提高精度。该校正器以矢量值函数的形式表示，并通过神经网络建模以回归相空间中的误差。因此，我们将校正神经矢量（Neurvec）命名。我们表明，Neurvec可以达到与传统求解器具有更大步骤尺寸的传统求解器相同的准确性。我们从经验上证明，Neurvec可以显着加速各种数值求解器，并克服这些求解器的稳定性限制。我们关于基准问题的结果，从高维问题到混乱系统，表明Neurvec能够捕获主要的误差项并保持整体预测的统计数据。

最近，提出了许多插件自我发场模块（SAM），以通过利用深卷积神经网络（CNN）的内部信息来增强模型的概括。通常，先前的作品忽略了插入SAM的位置，因为它们将SAM与整个CNN主链的每个块分别连接在一起，从而导致逐步计算成本和随着网络深度增长的参数数量。但是，我们从经验上找到并验证了一些违反直觉现象，这些现象：（a）将SAM连接到所有块可能并不总是带来最大的性能提升，并且连接到部分块将更好； （b）将SAMS添加到CNN中可能并不总是带来性能提升，相反，它甚至可能会损害原始CNN骨架的性能。因此，我们阐明并演示了自我发挥网络的彩票票证假设：一个完整​​的自我发项网络包含一个带有稀疏自我注意连接的子网络，可以（1）加速推理，（2）减少额外的参数增量，（3） ）保持准确性。除经验证据外，我们的理论证据还支持这一假设。此外，我们提出了一种简单而有效的基于加强学习的方法来搜索机票，即满足上述三个条件的连接方案。广泛使用的基准数据集和流行的自我注意力网络的广泛实验显示了我们方法的有效性。此外，我们的实验表明，我们的搜索机票具有转移到某些视觉任务（例如人群计数和细分）的能力。

设计高维偏微分方程（PDE）的高效和准确的数值求解器仍然是计算科学和工程中的一个具有挑战性且重要的主题，这主要是由于“设计数字方案”在设计中的“维度诅咒”。一种新方法，在具有有限的分析表达式的功能空间中寻求近似PDE解决方案，因此，该方法被命名为有限的表达方法（FEX）。在近似理论中证明，FEX可以避免维克斯的诅咒。作为概念的证明，提出了一种深入的增强学习方法，以在不同维度上为各种高维PDE实施FEX，以在维度和可依式的时间复杂性中具有内存复杂性多项式的高度甚至机器的精度。具有有限解决方案的近似解决方案分析表达式还提供了对地面真相PDE解决方案的可解释见解，这可以进一步帮助提高对物理系统的理解，并为精制解决方案设计后处理技术。

逆波散射旨在使用对象如何散射传入波的数据来确定对象的属性。为了收集信息，传感器被放在不同的位置以彼此发送和接收波。传感器位置和入射波频率的选择决定了散射器特性的重建质量。本文介绍了增强学习，以开发精确成像，以决定传感器位置和波频率以智能方式适应不同的散射器，从而通过有限的成像资源获得重建质量的显着改善。将提供广泛的数值结果，以证明所提出的方法比现有方法的优越性。

离散的不变学习旨在在无限维函数空间中学习，其能力将功能的异质离散表示作为学习模型的输入和/或输出。本文提出了一个基于整体自动编码器（IAE-NET）的新型深度学习框架，用于离散不变学习。 IAE-NET的基本构建块由编码器和解码器组成，作为与数据驱动的内核的积分转换，以及编码器和解码器之间的完全连接的神经网络。这个基本的构建块并行地在宽的多通道结构中应用，该结构反复组成，形成了一个具有跳过连接作为IAE-NET的深度连接的神经网络。 IAE-NET接受了随机数据扩展的培训，该数据具有随机数据，以生成具有异质结构的培训数据，以促进离散化不变性学习的性能。提出的IAE-NET在预测数据科学中进行了各种应用，解决了科学计算中的前进和反向问题，以及信号/图像处理。与文献中的替代方案相比，IAE-NET在现有应用中实现了最先进的性能，并创建了广泛的新应用程序。

无限尺寸空间之间的学习运营商是机器学习，成像科学，数学建模和仿真等广泛应用中出现的重要学习任务。本文研究了利用深神经网络的Lipschitz运营商的非参数估计。 Non-asymptotic upper bounds are derived for the generalization error of the empirical risk minimizer over a properly chosen network class.在假设目标操作员表现出低维结构的情况下，由于训练样本大小增加，我们的误差界限衰减，根据我们估计中的内在尺寸，具有吸引力的快速速度。我们的假设涵盖了实际应用中的大多数情况，我们的结果通过利用操作员估算中的低维结构来产生快速速率。我们还研究了网络结构（例如，网络宽度，深度和稀疏性）对神经网络估计器的泛化误差的影响，并提出了对网络结构的选择来定量地最大化学习效率的一般建议。

本文在内在参数的数量（即，根据目标函数$ F $）的数量来研究Relu网络的近似误差。首先，我们证明了建设，对于任何Lipschitz连续功能$ f $ w $ thy $ [0,1] ^ d $与lipschitz常数$ \ lambda> 0 $，带有$ n + 2 $ 2 $ 2 $ contrincic参数的Relu网络可以近似$ f $与$ l ^ p $ -norm以$ p \ in [1，\ idty）$中，$ f $ 5 \ lambda \ sqrt {d} \，2 ^ { - n} $。更一般于任意连续函数$ [0,1] ^ d $与连续性$ \ omega_f（\ cdot）$的模数，近似误差是$ \ omega_f（\ sqrt {d} \，2 ^ { - n}）+ 2 ^ { - n + 2} \ omega_f（\ sqrt {d}）$。接下来，我们以$ l ^ p $ -norm延长这两个结果，以$ 3 ^ d n + 2美元的价格为$ l ^ \ infty $ -norm。最后，通过使用高精度二进制表示和比特提取技术，通过固定的Relu网络独立于目标函数，我们设计，只有三个内在参数的Relu网络，以近似H +“较旧的连续功能小错误。

本文开发了简单的前馈神经网络，实现了所有连续功能的通用近似性，具有固定的有限数量的神经元。这些神经网络很简单，因为它们的设计具有简单且可增加的连续激活功能$ \ Sigma $利用三角波函数和软片功能。我们证明了$ \ Sigma $ -Activated网络，宽度为36d $ 36d（2d + 1）$和11 $ 11 $可以在任意小错误中估计$ d $ -dimensioanl超级函数上的任何连续功能。因此，对于监督学习及其相关的回归问题，这些网络产生的假设空间，尺寸不小于36d（2d + 1）\ times 11 $的持续功能的空间。此外，由图像和信号分类引起的分类函数在$ \ sigma $ -activated网络生成的假设空间中，宽度为36d（2d + 1）$和12 $ 12 $，当存在$ \的成对不相交的界限子集时mathbb {r} ^ d $，使得同一类的样本位于同一子集中。